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Anardnung 
Teilen., mi 



iind Verfahren zum Greifen von ungeordneten 
Roboter und Bildverarbeitung . : 



Beschreibu lg : 



Die 

zura Greif eft 
Teilen, 
Oder 
bei der 
Roboter 



^ betrif ft eine Anordnung und ein verfahren 
von ungeordneten Oder schlecht geordneteri 
inpbesondere Schttttgut-Teilen, matters Roboter 

programmierbaren Handhabungssystemen, wo- 
uber ein Bildverarbeitungs system mit am 
~~ Kameras geffchrt wird* 



Erf inding 



sqnst Lgen 
Rq ?0ter 



moitierten 



Puir- diese 
akaderaischb 
BiXdverarb 
setzteri* 
tierte 
gem&ber 
genauere 



Aufgabe gibt es eine ausfuhrliche, meist 

kiteratur, die, sich hauptsachlich mit den 
situngsmethoden auseinaadersetzt . Die einge- 
Bi Ldauswerteverf ahren sind meist konturorien~ 
Verfahren/ konturbasierte Verfahren liefern ge- 
f 1 achenbasierten Verfaiiren i.a. stabilere und 
Ergebnisse. 



Ein enfcschjsidendes 
sierung eifcies 
bei den 



bisher 
turigsanord aungen 
ausreicheii i 



Nach DE 
einzelnen 



Beleuchtim gen 



einer 
ist dies 
an der 



dieser 



Kante 
eigenschaqten 
r&umliche 



bekajinten 



Mit 
in 

weise bei 
sich eine 
linie 
werden 
len Gireif e}n 
taugliche 



Sonderf &llen 



ergd bt 
daher 



Problem bei der praktischen Reali- 
solchen Systems • besteht darin, daS sich. 
bekannten Kamera- und (ggf * ) Beleiicl*- 
nur ein Teil der Werkstuckkonturen . , 
zuverl&ssig darstellt* 



3545 



960 wird versucht, unter Verwendung eiher 
Kamera> mehtfere Bilder mit uriterschiedliehen 
auf zunehmen; dadurch wird zwar die 
wahrscheix&ichkeit erhoht, daS sich eine Kante in 

Bildaufnahmen darstellt, sichergestellt 

jiicht, beispielsweise dann nicht, wenn 
der Hintergrund die- gleichen Oberflachen- 
hat wie das obere Werkstttck und gleiche 
Orient ierung . 



j edoch 



Beleuchtungsanordnungen ergeben sich nur 
zuverlcissige Bildmerkmale, beispiels- . 
gl&nzenden zylindifiechen Teilen, bei denen 
zuverl&ssige, hell ref lektierende Mantel 7 
Trotz des grofien praktischen Bedarf s 
bisher kaum Roboter zum dreidimensiona- 
von schuttgut eingesetzt; eine praxis - 
L6sung der Aufgabe ist bisher daran ge~ 
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Praxi s t aug 1 i che 



- 2 - 

j 

e.cheitert , daS sich unter ungunstigen Bedii^gungen 
bestimmte ppnturen schlecht oder garnicht darsteilen. 

Auswege sind mit groEem mechanischem 
vejrbunden, beispielsweise werden die Telle 'auf 
in und von unten durchleuchteten 
ausgebreitet und, falls sie llbereinander 
einer zus&tzlichen steuerbaren Kinrich- 
ufaten angestoEen in der Hoffnung, dafc sie 
. liegen und sich damit mit vollstan- 
darsteilen/ dann erst warden sie 
Bildverarbeitungs system lokalisiert "und 
Roboter gegriffen*. 



Aufwand 
einem . 
Fdrderband 
liegen, 
turig von 
danach g< 
digen ko: 
ilber eiri 
durch 



t ran spartent en 



eirien 



Wei che 
nicht, 
anordnunge|n 
der 



Konturen 



hangt 



sich zuverl&ssig darsteilen tmd' welche 
bei bekannten Kamera- und Beleuchtungs- 
von der. zufailigen raumlichen Orientierung 
ike ab. Damit wird die Realisierung einer 
zuverlassiben Bxldauswertung SuiSerst schwierig, ins- 

svenn die Aufgabe eine echte dreidimensianale 
uung der Werkstucke erfordert (i.a. drei' 
Positionsparameter und drei Orientierungsparameter) S 



Werkstucke 



Kin Ausweg 
Verarbeitupg 
turiertem 
Sufierst 
tungfckompi 



Aufgabe der 
aller oder 
eines 
lichen 
einfacher 
dere ohne 



Das Wort 
zu verstehjen 
gerichtet 
den 

ffall, so. 
eiu, ,ixm eijn 



istt der tibergang von konturorientierter 
g zu fl&chiger 3D-Auswertung mittels struk- 
Licht. Diese Methode ist iedoch tecbiiisch" 
aufwendig und erfordert "exotische" Beleuch- 
oaenten. 



Erf indung ist die zuverl&ssige Darstellung 
moglichst vieler unveirdeckten Konturen 

unabh&ngig von der zuf alligen raum- 
Lg des werkstiicks, unter Verwendung . 
standard- Beleuchtungskomponent en , insbeson- 
strukturiertes Licht . 



Werkstucks, 
Or i ent ierung 



pie Aufgabe wird nach den Anspruchen l und 4 gelfcst. 



potentiell" in den Anspruchen 1 und a 1st so 
en, dafi die Blickf elder der Kameras so ein- 
si_nd,. da£ sich ein getneinsames werksttick in 
befinden KANN (ist dies nicht der 
der Roboter eine neue Ausgangsstellung. . 
Werkstuck zu suchen) * 



Blickf eldem 
nimmt 
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Mit der 
eines 
lichen 



Am >rdnung 
Werk stticks * 



priimtierung 



Fig,. 1 zeijft 'eine Seitenansicht der Kamera- und. B6leuch- 
,. mit den Kameras 1, 2, 3, und den ihnen 
( symbol isch gezeichneten) . Beleuchtungen 11 
(fur 2) und 13 (fttr 3) , sowie dem Schttttgut 
fkstucken 4. Die gezeiclinete feste Unterlage 

beispielsw^ise duroh ein Tansportband odar 
ersetzt werden. 



tungsanord lung 
zugeordnet-m 
(fur .1) , 
mit den We 
kann 
einen 



1:1 



natur Lich 
Beha Lter 



Fig. 2 z 
Fig* l zu 
gesehen „ 



eijjt, urn eventuell mdgliche Mifiverstandnisse' in 
rermeiden, die Aaordnung senkrecht von unten, 



Die Figurep. 
Kameras . 
beschriebeke 
gleichartijje 
Geometric 



1 .und 2 zeigen symmetrische Anordnuiigen mit 3 
hier beschriebene Anordnung und das hier 
Verfahreh betreffen naturlich auch sinngemafi 
Anordnungen, die von einer symmetrischen 
*bweichen* 



Die Figurep 
von au£en 
m&ssen nicfrt: 
gericfctet 



zei jt 



Fig/ 3 
h6rige 
ten : S an 
stilckkante 
gen umst&d^n 
unterlage 
lassig a " 
und der 

eignet ang paBter 
bei glanz 



zei jt. 



Fig. 4 
drei Kamer 
(fur 1) 2(2 
als dicke 



- 3 - 

nach Anspruch 2 warden alle Konturen , 
unabhangig von seiner zufailigen raum- 
erfafct. 



l und .2 zeigen symmetrische Anordnungen mit 
:iach innen gerichteten Kameras. Die Kameras 

notwendigerweise (alle) von aufien nach innen 
3 ein. ' 



ausschnittsweise eine Kamera und die da^uge- 
htung und den damit erzeugten Schlagschat- 
Werksttickkante 6. Die gegenilberliegende werk- 
ist aus Sicbt der Kamera 1 nur unter gdnsti- 
erkennbar, zum Beispiel bei einer dunklen 
Die Kanten 6 eind aus Kamera 1 dagegen zuver- 
unabhSngig von der Materialhelligkeit 
drjsidimensionalen Xiage des Werkstftcks , bei ge^ 
GrdSe der Beleuchtuhg gilt dies auch 
^erkstftckoberf lachen . * * 



Bel siichtung 
dar 



ic: itbar , 



e iden 



von oben gesehen, eine Werkstuckszene vmd 
a.s, gleichseitig die drei §etrennten Bilder 21 
I (ffcr 2) , 23 (fftr 3), mit den Schlagschatten 
fcante eingezeichnet . 
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Ein beyond 
m±t der 
turabschni 
Pig. 3 
fi&r diese 
scheint * 



srer Vorteil der Erfindung besteht darin, dafi 
"Inung mit mindestens drei Kameras jeder Kon- 
in mindestens einer Kamera si oh in der in 
itellfcen Situation (Kante 6) befindet und 
scawera die Kontur also ssuverlaesig im Bild er- 



Ein nachge 
nun - von 
Mehrdeufc igfcei t en 
forderlich 
zu realisisren 



schaltetes Bildauswerteverf ahren besitzt 
jgf . vorhandenen grunds&tzlichen geopietrischen 
abgesehen - alle Inf ormationen, die er- 
sind, urn eine dreidimensionale Lageerkennung, 




Dafi sich b 
tierende 
anhand Fig 
flefctlere 
herungswei 
chen genflLgf: 
chen, bei 
fiere 



Iiichqielle) 
Schlagscha - ten' 



WerkBtacks 



dec 



sichtbar 
des 

sichtbar) 
Damit bild 
im Bild 
bildet: 
j edoch die 
an der 
die 

Schlagschab 
auswertete 
sehr einfash 



•Hellig<eit 




Diese sehr 
bleiben au 
Gegensatz 
Schlagschafeti 



■si der gegebenen Anordnung eine stark kontras- 
Dpxstellung von Wfcrkstttckkonturen ergibt, ist 
3 dargestellt. Die Werkstuckoberfl&che re- 
i.n jedem Falle hell, da sie sich zumindest n&- 
se im Glanzwinkel befindet (bei matten Oberf lM.- 

eine kleine Lichtquelle, urn dies zu errei- 
jrl&nzenden Oberf l&chen bendtigt man eine grd- 
in fcichtung Kamera befindet sich ein 
in den die Kamera hineinblickt, der 
st (ein ggf . auf der gegenuberliegenden Seite 
liegender Schlagschatten w4re z*B. nicht 
and immer dunkler erscheint als das Werkstuck, 
»t sich die Werkstiickkontur iromer zuverl&ssig 
Kamera ab . Das Ende des Schlagschattens 

ebenfals eine Kontur (8). Diese hat 
umgekehrte Polaritat: im Kamerabild wechselt 
ikkontur, von oben nach unten gesehen, 
von hell nach dunkel, am Ende des*: 
tens von dunkel nach hell- Damifc sind bild- 
shnisch WerkstuckJconturen von Schattenkohturen . 
voneinander zu unterscheiden , 



all srdings 



vorteilhafcen Eigenschaften der Konturbildung 
iix prinzipiell beibehalten, wenn sich, im 
zur Situation Wig* 3, kein ausgepr&gter 
en bildet . Ein Schlagschatten bildet sich 
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um so eher 
je flaclier 
leuchtungs 
gleich 
erscheint 
damit der 
. die derr 
metrie und 
optimaler 
den Flache 
len sich 
fl&chen. 
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je flacher der Beleuchtungswinkei ist ,und 
der Betrachtungswinkel ist (Anmerkung ; Be- 
_ j- und Betrachtungswinkel m&ssen nicht genau 
sell) . Auch wenn sich kein Schlagschatten bildet, 
In der Regel die der Kamera zugewandte (und * 
aeleuchtung abgewandte) Seite dunkler als 
Kafaera ■ abgewandte seite . • Je nach Werkstttckgeo- 
Freiheitsgraden der Werkstudke wird ein 
freigungswinkel und Gr6£e der aktiv leuchten- 
g^wShlt,- bei glanzenden Oberflaahen empfeh- 
gfcdfiere Leuchtf lftahen als bei mat ten ober- 



Bei der 3D 



beschriebejien 
hungen dee 
ver&ndert 
gleichzeitfLg) 
mit guter 
be i spi e 1 sw^ i se 
senkrecht 
parallel 



Auswertung besteht ein besonderer vorteil der 
Anordnung darin, daS sich, bei kleinen Dre- 
Werkstucks im Raum # mindestens ein Konturbild 
{i„a. verSndern sich tnehrere Konturbilder 

dergestalt, daS eine 3D-Iiagebe^timmung auch 
lumerischer Genauigkeit erf olgen kann. Dies ist 

bei Anordnungen mit einer oder mehreren 
auf. die Werkstfcck© orientierten Kameras und/oder 
zaeinander ausgerichteten Kameras nicht der Fall- 



Bildauswer £etechnisch 



konturen 
ohne Vorw: 
mussen. 
sichere 
erst im 
fahrens 
vorab und 
tete 
macht . 



Analyse 



Wextere 
1 euchtungeh 



Beleupht ung 
chen Gecjmeterie 
(fast) 
sionalen 



sind werkstiickkonturen und Schatten- 
hr eihfacb voneinander zu uhterscheiden (s„o.j, 
bsQn tiber die werkstttckgeometrie einsetzeh zu 
Nash. den bisher bekannten Ans&tzen kann eine 
ttaxerscheidung von Werkstuck- und Schattenkanten 
Ratxmeri des <i*a. modellbasierten) Bildanalysever- 
geschehen; hier geschiebt diese unterscheidung 

ohne .Vorkenntnisse, was wiederum die nachgeschal- 
selbst wesentlich vereinfacht und robuster* 



Vo rteile 



ergeben sich daraus, daS Kameras und Be- 
am Roboter befestigt sind? 



in der .optimal en Robot'erlage bef inden sich Kamera UND 

relativ zum Werkstfick itwmer in genau der glei- 
Di£ zugehdrigen Bilder sind somit auch 
ujn&bh&rigig von der aktuellen absoluten dreidimen- 
Lage des werkstttcks. Daxaus ergeben sich enorme 
Vereinf ajchungen beim Teachen von werkstficken (Teachen 
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durch 
dadurch 
bustheit 
tioxi • ist 
nicht mi 



remes 



Vorzeigen und ohne Geometrieeingabe wird' 
srmGglichtl) und Verbesserungen bezuglich Ro- 
der Bildauswertung. Diese vozrteilhafte situa- 
nicht gegeben, wenn Kajneras Oder Beleuchtungen 
: dem Roboter mitgeffchrt werden. 



Arbeitsw *iae 



de ;r 
er ?ten 



wobei 
einer 
Kameras 
nachgegchaltete 



Fexn-J 
wird. 




Bei. nicht 
ten aristelfle 
nur sind 



die 

Auf nahmeka aaien 
sprtictieii 3 
robuster 
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- Dies® Ei^enschafit ffthrt auch dazu, dafi eine mehrstuf ige 
einfacher und sicherer rdalisierbair wird, 
Roboter nach einer ersten Bildaufnahme in 
Bewegung zun&chst die Relativlage der 
sum Werkstuck grob angepafit, und ttber eine 

Bildaufnahme und Bildauswertung eine 
ftir das genaue zugreifen realisiert 
Nafcurlich kann das Ganze auch in Tnebr als zwei 
hinterei landergeschalteten stufen realisiert werden. 



jetrennten Aufnahmekan&len ergeben sich Halbschat- 
von Vollschatten; auch dann gilt das Gesagte, 
Kontraste nicht so stark wis bei getrenntien 
Durch Treimung der Kan&le, wie in den An- 
ynd 4 beschrleben, wird die Bildauswertung rioch. 
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Anspruche 



1; Anordnuhg zutfc. Greifen von ungeordneten oder schlecht 

geordnepen Teilen, insbesondere Sch0.ttgut- Teilen, mittels 
Roboter und Bildverarbeitungssystem mit am Roboter mon- 
t ierten Kameras 



dadurch 

- mehrej 
sirid, 

- mindej 
angeoj 

- die 

SChOLtJ 
s amen I 



gekennzeiabnet , da£ 

re, , mindestens drei Kameras am Roboter montiert 

itens drei der Kameras schrSg zueinander 
Let sind, i 
teras auf das SchCtttgut Oder einen Tell des 
:guts gerichtet sind, potentiell mit e.inem gemein- 
Werketiick voll oder teilweise im Blickfeld die- 



Ser Kameras, 

- sich gegentiber jeder Kamera edne Beleuchtungseinheit 
befin&et, die am Roboter .montiert ist. 



Anordrn 
saraen 
drei. 



Ka 



3: Anordrit 
net dt 
tionsf i 
Farbkan 
getr« 



4,t 



Verfah: 
ordnet« 
Rdbbte: 
tiertej 
sprCtch* 
drei 
gende 

- dure] 
te B: 

- oder 
ter 

- oder 
• bere: 

Kame: 
kame: 



nach Anspruch 1, potentiell mit . eiriem getnein- 
srkstuek jeweils voll ±m Blickfeld von mindestens 
»ras. 

ig- nach einem der Ansprilehe 1 Oder .2 , gekennzeidh- 
iti Schalteinrichtungen und/oder durch polarisa- 
Lter und/oder durch Farbf liter urid/oder durch 
sras, womit die Beleuchtungs-Bildaufnahmekaixale . 
werden kdnnen. 

zum Greifen von ungeordneten oder schlecht ge- 
Teilen, insbesondere Sch&ttgut-Teilen, [mittels 
und Bildverarbeitungssystem mit am Roboter mon- 
Kameras, mit einer Anordnung nach einera der An- 
1 bis 3, wobei die Bildaufnahme von mindestens 
Stras getrennt uber die ihr jeweils gegenfiberlie- 
Jeleuchtuhg geschieht, vorzugsweise 

Schalten der Beleuchtungen und zeitlich getrenn- 
Jldaufnabme, 

Jdurch polarisiertes Licht, und Polarisations fil- 
luf Kameraseite, 

durch Beleuchtving mit unterschiedlichen Spektral- 
Jchen; und Selektion von Spektralbereictien auf 

jeite, auf Kameraseite vorzugsweise durch Farb- 
fas oder spektrale Filter • 
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